Sau 120 năm hoạt động (1825 - 1945), khi triều Nguyễn bị lật đổ cơ quan lưu trữ tài liệu quốc gia này đã ngừng hoạt động. Kể từ đó đến nay nó đang dần đi vào quên lãng cùng thời gian, với toàn bộ khối lượng sách khổng lồ của Tàng Thư lâu đã thất thoát gần hết. Sự bào mòn của thời gian cũng như sự xâm hại của con người Tàng Thư lâu đang dần biến mất và hư hại.

Sau 1975, với sự quản lý chưa chặt chẽ, cũng như sự quan tâm chưa đúng mức của một công trình lịch sử đối với các ban ngành liên quan, Tàng Thư lâu đã bị biến thành nhà ở, nhiều hạng mục của công trình đã bị hư hại nặng. Việc xâm hại của con người đã làm cấu trúc bị thay đổi với nhiều vách ngăn giữa các hộ gia đình được tạo nên, cũng như nhiều công trình phụ đã mọc lên làm cho mỹ quan của di tích bị phá vỡ.